Hunyuan Hunyuan-Large是一款由腾讯开发的大规模混合专家（MoE）模型，以其庞大的参数量成为当前参数规模最大的开源MoE模型之一。该模型基于Transformer架构，擅长处理长文本任务，同时在多语言自然语言处理、代码生成以及数学运算等领域展现出色性能。通过合成数据增强训练与创新的注意力机制，Hunyuan-Large实现了高效的推理吞吐量，并广泛应用于内容创作、教育辅助、知识问答及数据分析等多 AI项目与工具 2025年06月12日 69 点赞 0 评论 388 浏览
OpenELM OpenELM是苹果公司推出的一系列高效开源语言模型，涵盖从2.7亿到30亿参数规模的不同版本。该模型基于Transformer架构，采用层间缩放策略优化参数分配，使用分组查询注意力（GQA）和SwiGLU激活函数等技术。OpenELM在公共数据集上预训练，并在多项自然语言处理任务中展现出色性能。模型代码和预训练权重已公开，旨在促进开放研究和社区发展。 AI项目与工具 2024年01月01日 99 点赞 0 评论 479 浏览
